Het kasteel Drie Koningen werd gebouwd in 1802 door baron de Serret van Outryve d'Ydewalle in een gebied dat oorspronkelijk volledig toebehoorde aan de paters karmelieten.
Aanvankelijk heette dit kasteel Meerberg, naar de oude naburige wijk die reeds in 1469 vermeld werd en naar de heuvel waarop het gebouwd werd. Deze benaming raakte in onbruik en werd vervangen door die van Drie Koningen, ontleend aan een herberg die reeds in 1565 daar op het kruispunt van de heirweg stond.
Het kasteel is gebouwd in zuivere Empire stijl, naar verluidt deels met bouwmaterialen afkomstig van de verwoeste Sint-Donaaskerk te Brugge. Renovaties werden uitgevoerd in 1858, 1871 en 1909. Na de dood van André van Outryve d'Ydewalle, in 1940, ging het kasteel door erfenis over in handen van de oudste zoon Hubert. Thans wordt het bewoond door zijn zoon Raynier Outryve d'Ydewalle.